#Sparse Routing

4 篇

Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization

解释 MoE 大语言模型在个性化中的专家角色

🧭 MoE LLM 个性化与可解释性

University of Copenhagen

用 MoE LLM 做个性化并通过 crosscoder 定位可解释个性化 latent 与专家路由，验证其因果作用

📌 工作参考价值（4 点）

可尝试把个性化底座从 dense LLM 换成 MoE LLM：论文显示 MoE 个性化性能与 dense 有竞争力，但只激活一小部分参数，适合电商/广告等对推理成本敏感的场景；在线服务时稀疏路由也能降低尾部延迟。
用 crosscoder 对「个性化前后模型」的成对激活学习可解释 latent，能直接定位哪些专家在编码个性化特征。业务上可以用类似方法做个性化模块审计，找出哪些专家/层负责特定用户群偏好，便于后续剪枝、蒸馏或加约束。
文中通过 boosting 相关专家让非个性化模型向个性化模型靠拢，说明个性化行为有可操控的专家路由路径。可以借鉴为「可控个性化开关」：对某些用户群或场景，只强化对应专家，避免全量微调或 prompt 注入。
MoE 降低 polysemanticity 的结论提示：如果线上模型需要更强的可解释性、便于合规审查（如推荐理由、广告定向），选择稀疏架构比 dense 更容易解耦特征。

LLM | 2026-10-14 | HF Daily | score 7/10

RouteRec: Behavior-Guided Sparse Routing for Sequential Recommendation

行为引导稀疏路由的序列推荐

🧭 行为引导的MoE序列推荐 ★ 深度解读

Korea Advanced Institute of Science and Technology · Seoul National University

用会话行为线索（节奏/主题/记忆/流行度）引导MoE稀疏路由，让不同行为模式的会话走不同计算路径

📌 工作参考价值（4 点）

电商/广告序列推荐中，可以用日志侧特征构造行为线索作为MoE路由信号：从timestamp算interaction tempo，从类目标签算focus/switch rate，从item id算repeat/carryover，从训练集频次算popularity tendency；这些信号在预测前可算，且比纯hidden state更能反映会话行为差异。
分层稀疏路由值得借鉴：先由行为线索选 top-k 专家组（如tempo/focus/memory/popularity各组），再在组内结合当前hidden state选专家；组选择保持行为语义，组内选择保留位置级适应。
训练时不要用load balancing，改用route consistency + z-loss：前者让相似行为session的路由分布接近，后者压制路由logit过大；论文显示load balancing会伤害行为依赖分配。
多尺度路由（macro/mid/micro）对电商session有效：跨历史、当前会话、最近局部窗口分别聚合线索，macro/mid共享、micro随位置重算；若缺少类目或时间特征，可退化为sequence-only线索，仍能保持竞争力。

RecSys | 2026-09-30 | cs.IR | score 8/10

Sequential Recommendation Mixture of Experts Sparse Routing Behavioral Cues Session-aware

How Does mHC Use Its Residual Streams? Selective Routing and Near-Identity Mixing

mHC 如何利用残差流：选择性路由与近恒等混合

🧭 多流残差架构机制分析

Huawei Technologies Co., Ltd.

揭示 DeepSeek-V4-Flash 四流 mHC 路由集中、晚期混合近恒等，稀疏化与恒等替换几乎不损性能

📌 工作参考价值（4 点）

若团队在推荐/搜索/Agent 中采用或预研 Hyper-Connections/mHC 等多流残差 LLM，可直接尝试“逐 token 保留 top-3 路由权重”做稀疏化推理：在 DeepSeek-V4-Flash 上 PPL 最多上升 2.7%，平均分变化 ≤0.4 分，延迟/显存可降，适合线上排序或生成式推荐的低延迟约束。
对深层（22-42）多流混合器，可考虑替换为恒等或单流结构，C4 PPL 仅 +1.9% 且六任务平均分不变；可用于模型压缩、蒸馏学生模型或减少多流通信，尤其适合广告/电商场景中需要轻量部署的 LLM。
早期混合器的“站点结构”比 token 级动态更重要（固定到诊断均值 PPL +0.2%、平均分 -0.25pp），意味着在量化、缓存或离线计算中，可对早期混合器按层预计算固定权重，减少在线 token-wise 计算。
注意：该结论来自 DeepSeek-V4-Flash 单一模型，迁移前应先在自己的模型上做 effective stream counts 与 cosine 诊断；若未使用多流残差架构，可借鉴的分析方法较有限，主要是模型冗余与路由稀疏化的诊断思路。

LLM | 2026-09-04 | cs.LG | score 7/10

mHC Residual Streams Sparse Routing LLM Architecture Model Analysis DeepSeek-V4-Flash

Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts Routing

超越几何互补：稀疏MoE路由中的一致重叠

🧭 稀疏MoE路由中的一致重叠与功能冗余分析

College of Computer Science and Technology, Zhejiang University · Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University

发现MoE路由中专家子空间大量重叠，但多专家计算仍具功能增益，称“一致重叠”。

📌 工作参考价值（4 点）

在推荐系统多专家路由模型中，不应仅凭专家表示空间的几何相似性进行剪枝或合并；需通过冻结路由或受控训练实验评估功能冗余，避免删除有用专家。
路由上下文交互项为负，设计路由策略时可考虑该效应，适当保留多专家以弥补前缀信息带来的选择偏好缩小。
进行专家负载均衡或容量分配时，可引入Expert Subspace Separation Index (ESSI) 等指标量化子空间分离度，结合下游任务表现综合决策。
对Agent多智体系统中的路由，可从共享邻域选择相关专家，不必强制专家分化至互不相交，仍可获得多专家协同增益。

Training | 2026-07-29 | HF Daily | score 7/10

Mixture-of-Experts Sparse Routing Expert Subspace Geometric Complementarity Functional Redundancy